CRF Representation

条件随机场的建模目标是$P(Y|X)$，而不是联合分布$P(X,Y)$以及$P(X)$。因此可以忽略特征$X$之间的独立性条件。

$$\Phi = {\phi_1(\boldsymbol{D}_1), ..., \phi_k(\boldsymbol{D}_k)} \\\\ P_{\Phi}(\boldsymbol{X}, \boldsymbol{Y}) = \prod_{i=1}^{k} \phi_i (\boldsymbol{D}_i) \\\\ Z_{\Phi}(\boldsymbol{X}) = \sum_{\boldsymbol{Y}} P_{\phi}(\boldsymbol{X}, \boldsymbol{Y}) \\\\ P_{\Phi}(\boldsymbol{Y}| \boldsymbol{X}) = \frac{1}{Z_{\Phi}(\boldsymbol{X})} P_{\Phi}(\boldsymbol{X}, \boldsymbol{Y})$$

将$\boldsymbol{X}$分解成一个一个的factor，来假设他们之间的独立性，于是联合分布就可以用连乘来表示。

# log-linear model
$\underline{s}$和$underline{x}$是输出的标签和输入的序列。为了计算出最合适的输出，需要计算一个很大的log-linear model。

$p()$